5dc9b59d8e94a50524c46d74b5a3733f159674c6
Final solution - 3 indexes plus reranker
- challenge
- Passage Retrieval
- submitter
- Marek
- submitted
- 2023-03-15 19:01:22.348376 UTC
- file basename
- out
test-B / 30bf71e7e1b97578dba9e5f9c6f9c97b5348f1ac
| Metric | Score |
|---|---|
| NDCG@10 | 68.19 |
test-A / 64d2cb63dabf8c31472081c27509afeffe89df28
| Metric | Score |
|---|---|
| NDCG@10 | 75.32 |
dev-0 / c42e88fa4c710e21d5d101c9be9e1bf16b025737
| Metric | Score |
|---|---|
| NDCG@10 | 52.97 |
worst items
note: the gold standard is taken from the challenge| # | input | expected output | actual output | test-B NDCG@10 |
|---|---|---|---|---|
| 1 | wiki-trivia Jakiego obrazu dotyczy akcja filmu Vinci? | 159017-5 89983-8 170281-11 764160-22 | 159017-0 159017-3 1004592-0 225555-0 764160-15 489854-0 332398-0 175401-8 328729-0 734566-0 | 0.00 |
| 2 | wiki-trivia Jak nazywa się wędzony ser owczy produkowany w Tatrach? | 13012-0 13016-0 13015-0 13005-2 613908-4 | 73042-0 538889-1 2920865-0 964354-0 2874059-22 354435-4 163711-9 73042-3 1326605-0 937406-0 | 0.00 |
| 3 | wiki-trivia Z którego państwa pochodzi Stieg Larsson, autor trylogii kryminalnej „Millennium”? | 4446190-0 5018537-0 461434-5 | 1442177-0 4470152-0 2130804-0 4470152-1 2044201-0 2130804-1 2210821-0 5530-62 1442177-1 4094357-2 | 0.00 |
| 4 | wiki-trivia Proszę podać polską nazwę pierwiastka o łacińskiej nazwie sulfur. | 5581-35 685902-0 | 5581-0 10037-0 55183-6 2294176-0 2294176-14 2294176-1 2294176-16 516273-3 19728-3 1166954-107 | 0.00 |
| 5 | wiki-trivia Jak nazywają się dwie liczby rzeczywiste, których wynik po dodaniu wynosi zero? | 736338-0 | 1469459-12 3289-34 917904-14 1856051-1 58297-3 3289-9 917904-0 889941-51 30337-6 68875-3 | 0.00 |
| 6 | wiki-trivia W którym państwie leżą tzw. Alpy Transylwańskie, czyli Karpaty Południowe? | 172832-0 1662028-0 1065819-0 1263801-11 1653912-0 | 172738-0 1676730-0 1263801-12 1263801-3 1835943-0 1834305-0 2804-0 681260-0 2174186-2 5171-3 | 0.00 |
| 7 | wiki-trivia Jak nazywała się akcja przesiedlenia Ukraińców z 1947 r.? | 20338-0 785771-2 20297-4 929707-2 968749-0 | 1657997-0 1552826-228 20338-18 20338-5 101640-3 76561-21 651828-55 20338-19 875057-0 23094-34 | 0.00 |
| 8 | wiki-trivia Czy legalny syn Napoleona zasiadł na tronie Francji? | 425167-2 | 425167-1 390349-0 425167-7 425167-5 1658867-146 363695-7 4191-44 423870-11 32562-37 174799-42 | 0.00 |
| 9 | wiki-trivia Jak nazywa się postulat mówiący, że w atomie nie ma dwóch elektronów które by miały identyczne wszystkie cztery liczby kwantowe?… | 43681-0 | 984901-17 54673-1 44963-4 917904-4 49944-18 2819-40 1482413-3 2986604-0 43683-2 2323537-0 | 0.00 |
| 10 | wiki-trivia Jakie zwierzę widnieje w godle Wenecji? | 3517-75 517835-1 996055-5 | 99602-1 4819790-0 198176-22 517835-2 1232617-3 2319571-2 470657-3 2135890-2 3512908-7 754081-4 | 0.00 |
| 11 | wiki-trivia Jak nazywa się instrument muzyczny i ogon cietrzewia? | 445920-18 | 51223-8 51223-18 51223-9 3519-171 2560925-9 1997111-19 963201-68 2596561-9 4298159-1 210587-10 | 0.00 |
| 12 | wiki-trivia Jedna z mitycznych gorgon oraz jamochłon morski mają wspólną nazwę? | 108851-0 108851-2 108851-4 27899-19 1877199-2 | 107821-0 953156-1 16435-0 1800780-0 227878-0 1877199-0 129350-0 463184-0 84135-0 1110977-0 | 0.00 |
| 13 | wiki-trivia Jakiego koloru jest pojęcie którego się nie ma? | 179111-7 1870244-3 1915957-24 6811-175 4638002-1 | 143393-7 536609-8 206034-0 472-0 45240-7 42935-1 1050241-8 3265527-3 2160286-3 3051801-3 | 0.00 |
| 14 | wiki-trivia Czy knock down to to samo co knock out? | 1380727-1 | 1380727-0 51443-0 1334928-0 4026463-6 1128668-0 1448570-7 2754764-0 1460374-1 1694309-1 855509-6 | 0.00 |
| 15 | wiki-trivia Mitologiczna wojowniczka i wielka rzeka południowoamerykańska mają tę samą nazwę – jaką? | 30855-0 | 1426650-0 545856-0 9607-0 31692-6 543386-1 31792-0 10102-1 13409-7 1589257-4 1126109-0 | 0.00 |
| 16 | wiki-trivia Jak nazywa się rytualne japońskie samobójstwo? | 5897-1 2477-188 131390-30 | 144157-9 5897-0 5897-12 2043630-0 666-31 2043630-2 2230183-3 478763-0 5897-4 5897-7 | 0.00 |
| 17 | wiki-trivia Jak nazywa się amerykański reżyser filmowy, twórca filmów „Kill Bill”, „Bękarty wojny”, „Pulp fiction”? | 1607197-0 135197-14 1299663-1 420616-1 | 44727-1 74908-0 44727-29 23478-0 576653-4 133379-33 1607197-25 190814-0 74908-7 2214829-0 | 0.00 |
| 18 | wiki-trivia Jak miał na imię miś o małym rozumku z popularnej dobranocki? | 447145-2 1032777-9 4349408-1 | 563789-0 2556666-1 5104811-1 5052017-10 3471641-1 758203-11 1884264-0 130141-0 714702-0 1756616-1 | 0.00 |
| 19 | wiki-trivia Co oznacza stwierdzenie, że ktoś jest w błogosławionym stanie? | 127933-7 | 3329831-0 112230-3 4631883-2 597-0 596-0 114894-1 8150-0 112230-0 2298336-0 2190845-0 | 0.00 |
| 20 | wiki-trivia Czy Kuba jest członkiem ONZ? | 53549-30 | 501158-2 470772-3 9630-18 20243-8 2004132-17 1537157-55 2918514-4 63782-16 74072-14 7306-42 | 0.00 |
| 21 | wiki-trivia Czy łączna długość kolejki na Kasprowy Wierch przekracza trzy kilometry? | 158560-12 | 158560-13 158560-16 158560-8 158560-14 158560-0 2196747-0 2364526-3 158560-10 3738318-1 75891-18 | 0.00 |
| 22 | wiki-trivia Na jakim instrumencie gra fletnista? | 103568-5 | 235094-2 1906051-5 20006-0 1493255-2 19844-0 94494-0 968382-0 1493255-0 968382-1 103568-3 | 0.00 |
| 23 | wiki-trivia Czy państwo niemieckie przystąpiło po I wojnie światowej do Ligi Narodów? | 306682-34 7267-32 | 1354023-11 3625209-8 1762906-0 133328-45 2726688-21 1282609-4 2207352-1 158786-6 306682-0 17474-29 | 0.00 |
| 24 | wiki-trivia Które państwo UE ma największą powierzchnię? | 44855-2 | 1288875-2 466572-0 6433-24 527262-32 6423-157 44854-9 1288875-1 17474-0 554970-20 2358390-2 | 0.00 |
| 25 | wiki-trivia Kto prowadził sklep Wokulskiego? | 153643-47 | 27648-38 562652-3 562652-6 546519-4 562652-7 153643-61 562652-17 153643-70 802179-0 562652-5 | 0.00 |
| 26 | wiki-trivia 1246 to liczba parzysta? | 298509-0 313947-2 1810072-1 | 139590-0 616-0 73557-13 57361-14 2583161-0 4361456-0 2894385-0 553375-0 2950547-0 642320-1 | 0.00 |
| 27 | wiki-trivia Nadwornym malarzem którego angielskiego króla był Hans Holbein syn żyjący na przełomie XV i XVI wieku? | 89355-2 | 89355-0 7016-30 3282127-1 142703-4 89355-3 357476-0 1851595-0 3577389-0 4289640-14 3068269-4 | 0.00 |
| 28 | wiki-trivia Czy Morze Bałtyckie ma połączenie z Morzem Czarnym? | 400230-0 1282720-46 1876871-1 587345-0 | 1282720-30 11105-8 879057-1 1282720-13 3622-0 293587-0 32645-0 1462657-0 11105-1 15657-23 | 0.00 |
| 29 | wiki-trivia Jak nazywa się najwyższy organ władzy ustawodawczej przewidziany przez Konstytucję 3 Maja? | 166119-0 | 3058-8 44876-52 420125-17 32218-29 185511-3 44876-49 712005-5 44876-50 1303527-2 189807-29 | 0.00 |
| 30 | wiki-trivia Gdzie według powiedzenia nie należy rzucać słów? | 836665-6 | 455520-1 3889766-6 4002927-66 1710818-6 3995771-26 4041983-166 5190029-394 1814324-4 1828341-247 677-26 | 0.00 |
| 31 | wiki-trivia Jak nazywamy inaczej 50. rocznicę ślubu? | 2138961-1 | 2628-4 107714-32 107714-31 102933-1 1054973-45 9592-68 871566-51 7301-6 46980-93 4203996-7 | 0.00 |
| 32 | wiki-trivia Jak nazywa się chybiony strzał, a także więzienie? | 1749652-3 | 989839-0 496230-0 2669310-0 953056-1 755593-0 3165935-8 2413198-5 3132093-6 3092905-5 85834-0 | 0.00 |
| 33 | wiki-trivia Czy na Antarktydzie znajdują się jeziora? | 10968-32 10968-35 10968-46 590777-0 | 2081883-0 2081883-3 3088562-10 2081883-5 2081883-6 3088562-8 10968-33 1779851-0 2242425-0 3251444-0 | 0.00 |
| 34 | wiki-trivia W marcu rozpoczyna się noc polarna na którym biegunie? | 11080-2 | 1933953-3 36532-7 5147692-2 22685-3 63018-2 3034828-0 4194083-2 839989-18 2110172-9 3472564-2 | 0.00 |
| 35 | wiki-trivia Jak nazywa się pojedynek pomiędzy zwycięzcami ćwierćfinałów? | 2715542-7 2727036-10 2854920-2 4056243-1 3933095-3 | 1855455-56 3121687-5 1337562-15 52146-283 342793-14 1454013-2 506833-6 52146-312 2015156-2 2106402-0 | 0.00 |
| 36 | wiki-trivia Jeśli mamy 11 par skarpet, to ile mamy wszystkich skarpet? | 4925-1 | 83772-2 714995-7 821363-2 185820-0 185820-47 45301-4 3506948-4 1190274-17 3506948-7 1929381-4 | 0.00 |
| 37 | wiki-trivia Jaka to część mowy: „wczoraj”, „jutro”, „głośno”? | 26511-3 4930246-2 1390772-27 182206-0 26511-1 | 3997994-16 3506664-0 1400112-512 12573-0 118888-25 847373-0 181247-9 3998572-195 613908-47 118888-82 | 0.00 |
| 38 | wiki-trivia Czy Szwajcaria należy do Paktu Północnoatlantyckiego? | 106963-6 | 1124315-29 5532-1 2643709-0 277083-1 97450-4 24447-18 17665-0 2700559-0 7305-19 735579-2 | 0.00 |
| 39 | wiki-trivia W którym roku odbyła się ostatnia misja promu kosmicznego? | 1334629-26 11240-7 | 2227130-0 200612-0 199509-0 1146168-0 2321832-3 200317-0 661718-7 260-22 2340974-3 715631-24 | 0.00 |
| 40 | wiki-trivia Gołdap leży przy granicy z którym państwem? | 1023555-0 4795125-0 1563661-15 | 1374054-0 1023472-0 226159-1 172870-21 818785-21 226159-13 66962-0 1900657-0 2971182-0 172870-4 | 0.00 |